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УДК 004.932.2 ООГ 10.12737/5717 
Методика подготовки данных для восстановления трёхмерной структуры сцены“ 
С. С. Тараненко, О. Ф. Ковалёв 


Рассматривается проблема подготовки данных для восстановления трёхмерной структуры сцены, составлен- 
Ной из точек, отрезков, прямых линий и т. д., используя видеоинформацию, получаемую с камеры, движу- 
щейся вокруг статической сцены. На основе анализа существующих методов представлена методика и алго- 
ритм для выделения и подготовки данных для восстановления трёхмерной структуры сцены. За основу алго- 
ритма взят фильтр Канни с оператором Собеля, дополненный вычислением дескрипторов из алгоритмов 
5ИКЕ (5реедеа Ир КоБизЕ Геаиге). Для фильтрации шумов с кадров предлагается использовать игауе!Е- 
фильтры, что позволит получить алгоритм выделения контура объекта в кадре и сопоставление его с конту- 
ром объекта на следующем кадре, что является входными данными для большинства алгоритмов восстанов- 
ления трёхмерной сцены. 
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фильтр Калмана, фильтр Канни, подавление немаксимумов, сцена, градиент. 


Введение. Область практического применения реалистической компьютерной графики в наши 
дни необычайно широка и включает в себя системы виртуальной реальности, реверс-инжиниринг, 
киноиндустрию, дизайн, компьютерные игры, научную визуализацию и т. д. Стремительно увели- 
чивается число продуктов компьютерной графики, а вовлечение их в повседневную жизнь вызы- 
вает ответную реакцию потребителя, заключающуюся в непрерывном повышении требований к 
этим продуктам. И хотя рост вычислительных мощностей позволяет решать всё более сложные 
задачи визуализации трёхмерных сцен (число объектов, источников освещения, разрешение изо- 
бражения), рост сложности самих задач опережает его, и актуальность этих задач растёт. 

Одной из ведущих задач в компьютерной графике стало восстановление трёхмерной 

структуры сцены. Для восстановления структуры сцены требуется сбор информации о ней. Один 
из способов сбора информации о сцене — это видео- и фотосъёмка, но в полученных кадрах мно- 
го шумов и второстепенной информации, кроме того информация с двух соседних кадров требует 
согласования и сведения кадров в стереопару. По данной задаче проводились исследования и 
есть результаты, но они не совершенны. 
Исторический обзор. Первый учёный, который начал рассматривать проблему восстановления 
структуры движущегося объекта, был Ульман [1], и его работа породила много алгоритмов. Эти 
алгоритмы отличаются по типу ввода (например, плотные полутоновые изображения, характер- 
ные точки, строки и т. д.), числу требуемых изображений (например, два, три, неограниченное 
количество), моделям камеры (например, перспективная или ортогональная проекция), и приня- 
тому знанию движения камеры (например, полностью известная, постоянная скорость, неизвест- 
ная скорость и т. д.). 

Многие исследователи занимались проблемой восстановления структуры сцены, состав- 
ленной из множества точек ряда изображений. Лонгуест-Хигинс и другие [2-6] показали, что 
структура ряда точек может быть восстановлена с двух изображений, даже когда относительная 
позиция этих двух камер неизвестна. Другие исследователи разработали алгоритмы, которые ис- 
пользуют повторные изображения твёрдой сцены, чтобы произвести более точную реконструк- 
цию, и они попадают в два класса: пакетные алгоритмы, которые обрабатывают все данные од- 
новременно и инкрементные алгоритмы, которые поддерживают некоторое понятие состояние, 
которое обновляется с каждым новым кадром. 





* Работа выполнена в рамках инициативной НИР. 
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В этой работе представлена методика подготовки данных для восстановления трёхмерной 
структуры сцены, используя данные видеосъёмки, полученной с движущейся камеры. 
Описание алгоритма нахождения особых точек. Работа алгоритма по восстановлению 
трёхмерной структуры сцены заключается в определении положения точек в пространстве, осно- 
вываясь на их двумерных координатах, полученных с камеры. Это возможно, так как кадры со- 
держат объект с разных ракурсов и образуют стереопары. Для идентификации и сопоставления 
уникальных точек на кадрах с камеры предложена методика на основе алгоритма 5ИВЕ (5реедеа 
Ур ВоБи$Е Реаге) [7]. 

Рассмотрим модель камеры и получаемых кадров. 
Модель камеры. Камера-обскура (рис. 1) представляет собой светонепроницаемый ящик в цен- 
тре одной из стенок которого находится маленькое отверстие. На внутренней стороне противопо- 
ложной стенки ящика закреплена фоточувствительная пластина. Камера имеет единственный 
внутренний параметр — фокусное расстояние # то есть расстояние от отверстия до противопо- 
ложной стенки ящика. 





Рис. 1. Камера-обскура 


При моделировании камеры-обскуры светонепроницаемый ящик заменяют системой «точ- 
ка наблюдения — плоскость изображения» (рис. 2). 
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Рис. 2. Система «точка наблюдения — плоскость изображения» 
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Между координатами точки Р (Х, У, 2) в пространстве сцены и точкой (х, у) в плоскости 
изображения камеры-обскуры существует следующее соотношение: 


вы аа: 

2 

Р (1) 
ИЕР 


где /— фокусное расстояние камеры; п, и п, — шумы. 


Оцифрованное изображение хранится в буфере кадра, который можно рассматривать как 
матрицу пикселей размером И/.Н. Пусть (1 ]) — дискретные координаты буфера кадра с началом 
в верхнем левом углу, (Ох, Оу) — фокусная точка линзы (место пересечения оптической осью 
плоскости изображения) в координатах буфера кадра и (х, у) — координаты изображения. 

Отношение координат плоскости изображения и координат буфера кадра: 

х = (/-0Ох).$,, 
у=(7-0у):5,, 
где $, $, — горизонтальное и вертикальное расстояние двух соседних пикселей в буфере кадра. 

Таким образом, имея оцифрованное изображение снимка с камеры, можно определить ко- 
ординаты каждого пикселя в плоскости изображения [8]. 

Выделение границ объектов, алгоритм Канни с оператором Собеля. Опираясь на резуль- 
таты работы Канни, который изучил математическую проблему получения фильтра, оптимального 
по критериям выделения, локализации и минимизации нескольких откликов одного края, можно 
сказать, что предложенный им детектор реагирует на границы, но при этом игнорирует ложные, 
точно определяет линию границы и реагирует на каждую границу один раз, что позволяет избе- 
жать восприятия широких полос изменения яркости как совокупности границ. Канни ввёл понятие 
Моп-Махйпит Зирргез$юп (подавление немаксимумов), которое означает, что пикселями границ 
объявляются точки, в которых достигается локальный максимум градиента в направлении векто- 
ра градиента [9, 10]. 

Алгоритм состоит из пяти отдельных шагов: 


1. Сглаживание. Подавление шума и размытие границ. Для оптимизации вычислений ис- 
ходный кадр преобразуется в оттенки серого (с помощью цветовой модели УЦ\ (или НУ, НМ, 


других)). 
Для подавления шума, воспользуемся \\/ауее-фильтрами (математические функции, по- 


зволяющие анализировать различные частотные компоненты данных). 

2. Поиск градиентов. Максимальное значение градиента кадра отмечает границу. 

Оператор Собеля — это дискретный дифференциальный оператор, вычисляющий прибли- 
жённое значение градиента яркости изображения. Результатом применения оператора Собеля в 
каждой точке изображения является либо вектор градиента яркости в этой точке, либо его норма. 
Оператор Собеля основан на свёртке изображения небольшими целочисленными фильтрами в 
вертикальном и горизонтальном направлениях. Используемая им аппроксимация градиента дос- 
таточно грубая, особенно это сказывается на высокочастотных колебаниях изображения. 

Ядра фильтров: 


(2) 


10 -1 р м 
В 0-Е В, = |0: 00| (3) 
10 -1 -1 -1 -1 


Угол вектора квантуется по 45°. 
3. Подавление немаксимумов. Только локальные максимумы отмечаются как границы, ос- 
тальные подавляются. 
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4. Двойная пороговая фильтрация. Границы определяются порогами. 

Следующий шаг — применение порога, чтобы определить находится ли граница в данной 
точке изображения. Чем меньше порог, тем больше границ будет находиться, но тем более вос- 
приимчив результат к шуму. Высокий порог может проигнорировать слабые края или получить 
границу фрагментами. Поэтому в фильтре используется два порога: верхний и нижний. 

5. Трассировка области неоднозначности. Итоговые границы определяются путём подав- 
ления всех границ, несвязанных с найденными границами. 

Данный алгоритм позволяет выделить границе в кадре, но перед нами стоит задача ещё и 
сопоставить выделенные границы (набор особых точек объекта) сопоставить на всех кадрах, где 
они встречаются. Для этого будем использовать дескриптор особой точки. 

Вычисление дескриптора особой точки. За основу можно взять вычисление дескрипторов 
точек в 5УВЕ алгоритмах. Дескриптор — это массив чисел независимых от вращения и масштаба, 
которые позволяют идентифицировать особую точку. 

Дескриптор считается как описание градиента для 16 квадрантов вокруг особой точки 
рис. 3. 


Рис. 3. Описание градиента для 16 квадрантов вокруг особой точки 


Берётся регулярная сетка 5х5 и для точки сетки ищется градиент, с помощью фильтра 
Хаара. После нахождения 25 точечного градиента квадранта, вычисляются четыре величины, ко- 
торые собственно и являются компонентами дескриптора: 








Две из них — это суммарный градиент по квадранту, а две других — сумма модулей то- 
чечных градиентов. 


На рис. 4 показано поведение этих величин для разных участков изображений. 


Рис. 4. Зависимость компонентов дескриптора от градиента 
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Четыре компонента на каждый квадрант — 16 квадрантов дают 64 компонента дескрипто- 
ра для всей области особой точки. При занесении в массив значения дескрипторов взвешиваются 
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на гауссиану, с центром в особой точке и с сигмой, что придаёт большую устойчивость дескрип- 
тора к шумам. 

В $ИВР так же используется следа матрицы Гессе для различия светлых и тёмных пятен. В 
нашем случае этого не нужно, т. к. мы имеем границы и с помощью дескриптора сопоставляем их 
на кадрах. 



































Рис. 5. Результаты выделение особых точек и их сопоставление на двух кадрах 


Заключение. Приняв во внимание то, что на кадрах из видеопотока особые точки объекта суще- 
ственно переместится не могут, получаем аксиому, что примерное положение особых точек на 
последующем кадре при непрерывной съёмке резко изменится не может, что позволяет описан- 
ному алгоритму получать входные данные из видеопотока для алгоритма восстановления трёх- 
мерной сцены, а именно списки особых точек (составляющие границы объекта) с двух и более 
кадров, образующих стереопары. Далее используя один из алгоритмов восстановления трёхмер- 
ных объектов, например фильтр Калмана, можно получить трёхмерную модель сцены. 

Для повышения количества особых точек и качества их определения (подавления шумов), 
имеем два порога — минимальный и максимальный, как следствие применения основы фильтра 
Канни. Благодаря особенностям семейств мау@еЁ фильтров и переключая между ними, можно 
добиться адекватного восприятия особых точек алгоритмом в видеопотоке с разной степенью за- 
шумлённости. 
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ОАТА РКЕРАКАТТОМ МЕТНОО$ РОВ ВЕСО\МЕКТМС ТНВЕЕ-ОТМЕМ$ТОМАЕ 
ТВОСТОВЕ ОЕ ТНЕ $СЕМЕ” 


$. $. ТагапепКо, О. Е. Кома!еу 


Тре ргоМет оЁ аа ргерагаНоп 0 гесоуег пе Ёгее-@/тепзюпа! гисёиге оЁ пе 5сепе тси4та ротЕЁб, 5ед- 
тепё, эта!арЕ тез, ек., изтд иаео обатей тот а тоутд сатега агоипа а $айс хсепе /5 сопз!аегед. Вазед 
оп те апа/у$65 ОЕ {Те ех15Нпа те тоа5, пе тетодооду апа аборт о! те 42а 5е/есйоп апа ргерагайоп Юг 
гесоуетпа пе {пгее-а@тепзгопа! 5сепе 5ётисфиге аге ргоу!аЕц. Саппу ПЁег апа $оБе! орегаюг сотр/ететеа ий" 
сасиайта ше а!догитт $5ИКЕ (5$реедеа Цр ЮоВизЕ Ееаиге) цезспрюгз [5 (аКеп а5 а Базб. То Пег побе бот 
Батез, иауеЕЕ НЁег5 аге ргорозеа. Тр а/ои/з оап/тпа ап ОБесЕ сотоиг егасНоп адогЁйт т Пе п’ате, апа 
Й5 сотрайзоп ийп пе оБзесЕ сопюиг т {Те пехЁ б’ате, иисй 15 {Пе триЕ даа Гог йе та/огЙу оЁ адогЁйт5 оЕ 
{е гее-@тепзюпа! 5сепе гесоп$Ёгисйоп. 

Кеуигога5: сатега-обзсига, ЗИКЕ (5реедеа Ир КоризЁ Геаиге), пдшаг ротЁз, {пгее-атепзюпа! $Ёгисёиге, 
Ка/тап Рег, Саппу НЁег, поп-тахйта зирргезоп, 5сепе, дгабепе, 





* Те гезеагсй {5 аопе мт {Пе #ате оЁ {Пе паерепдепе В&0. 
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